ostadmin: [incompat syntax change] Allow deploying any revision

The old command line syntax assumed you wanted the latest from
a given revision, but to bisect, you really want the ability
to deploy any given one.

Old:
$ ostadmin deploy gnomeos-3.6-i686-{runtime,devel}

New:

$ ostadmin deploy trees/gnomeos-3.6-i686-runtime
$ ostadmin deploy trees/gnomeos-3.6-i686-devel

And note that the deploy directory now changes to:
/ostree/trees/gnomeos-3.6-i686-devel

And now it's possible to:

$ ostadmin deploy trees/gnomeos-3.6-i686-devel trees/gnomeos-3.6-i686-devel^^^

pull: When --depth is specified, ensure we have all requested objects

We were previously optimizing by skipping object traversal if the refs
were unchanged, but if the user specifies a deeper depth than they did
before.

core: Add context when we fail to chmod()/chown()

This helps make things less confusing when we try to create a file not
owned by our uid, such as running ostree-pull as non-root on a
repository owned by root.

core: Drop ot_clear_hashtable for g_clear_pointer()

core: Drop ot_clear_ptrarray in favor of g_clear_pointer

core: Drop ot_clear_gvariant() in favor of g_clear_pointer

core: Remove ot_clear_checksum() in favor of g_clear_pointer()

core: Use g_spawn_check_exit_status()

pull: Only take up one terminal line for status output

And print total bytes transferred at the end.

Fix libgsystem submodule

Hard require GLib 2.34

Anyone wanting to build against an earlier version can use the
embedded-dependencies system.

Add libgsystem as git external

Don't replace ot_lfree and stuff yet though...to much code churn.

pull: Correctly display concurrent libsoup requests

The "status text" code was assuming that libsoup was only doing one
thing at a time, but that's never been the case.  Change the code to
display the status of all active requests.

core: drop dead/unused code

The daemon is a nice idea but needs a lot more thought.  Let's just
delete the unused code for now and come back to it later.

core: Drop ot_gfile_new_for_path

Not necessary anymore since we switched to GIO_USE_VFS=local in the
binaries.

pull: Fix a memory leak

pull: Fix use-after-free in async fetcher

Refcount the pending data structure.

Release 2012.8

build: Use LDADD libraries to link with, not LDFLAGS

This should fix the build with embedded glib.

Make more compiler warnings into errors

In particular, I want -Werror=format=2 to catch format string bugs.

main: Fix a format string error

embedded deps: Properly quote/handle PATH/LDFLAGS

core: Check out asynchronously

This can be a large performance win in certain circumstances:

 * Cold buffer cache (we don't block the whole process)
 * Requiring a copy instead of hardlink

tests: Just use OT_TESTS_DEBUG to say "save test data"

pull: Properly propagate errors

build: Fix syntax error in non-embedded build case

build: Various bugfixes for embedded-dependencies

core: Don't silence output of ostree-run-triggers

We want to see which triggers are being run by default.

triggers: Quiet GConf trigger

The default is just way, way too verbose.

Support building with embedded libsoup

Support building with embedded glib

triggers: Fix previous commit

Add fontconfig trigger

This wil regenerate the fontconfig caches, accounting for modifications in
the system font directories.

core: Fall back to copying checkouts on EMLINK/EXDEV

The previous fix to just ignore symbolic links for hard linking isn't
really good enough, since it can happen for empty files too.

Since this is an optimization, when we get EMLINK, let's instead just
fall back to copying.  This also applies to EXDEV.

ostbuild: Move to gnome-ostree module

Since we want to keep "ostree" buildsystem-independent, let's move
ostbuild out into the gnome-ostree module.

http://git.gnome.org/browse/gnome-ostree/commit/?id=04ba1926e33b442af1e357460e4415d4c0311e87

ostbuild: Fix previous commit (this should have been amended)

ostbuild: Fix -k option to git-mirror

ostbuild: Allow specifying components to git fetch

build: Actually, we need bleeding edge libsoup

The stable version compiles, but just hangs =/

build: Bump libsoup dependency

ostbuild: Add rootdir argument to deploy-qemu

ostbuild: Fix circular dependency between resolve and git-mirror

git-mirror was looking for the latest snapshot, which we don't
have until we resolve.

This leads to some code duplication.

core: Fix mkdtemp invocation

ostbuild: Add -k option to git-mirror

libwacom's sourceforge git server was down...

pull: Download and checksum asynchronously

This is quite a noticeable speedup when downloading loose objects.

core: Fix memory leak

core: Just require libsoup, not libsoup-gnome

TODO: Update

core: Switch to using mkdtemp() so we only depend on GLib 2.28

We claim to build against 2.28, let's actually make it work.

core: Drop some dead temporary file code

Trivial: fix a typo

ostbuild: Have resolve use git-mirror rather than duplicating code

This also brings us back to a sensible world of:

ostbuild resolve --fetch

Doing both fetch *and* writing out the updated revisions.

core: Don't checkout symbolic links via hardlink

Doing so can easily get us up to the maximum ext4 hardlink count.

ostbuild: add --diffstat option for source-diff

core: use GLIB_VERSION_MAX_ALLOWED=2.28

We want to build/run even on relatively old OSes, so that we can
be used to bootstrap and maintain newer builds.

core: Remove leftover debug print

Release 2012.7

core: ostree-pull: Add --depth option

This is useful for getting say the last 10 builds.

core: Attempt direct link() and fallback on EEXIST

Rather than always doing:

1) make temporary link
2) unlink() target
3) rename()

Just try making the link, and only do the second two if the file
already exists.  This reduces system call traffic a lot.

ostbuild: Add 'tag' concept to manifest, improve git mirroring

We should explicitly distinguish between the case where we have a git
branch we're following, versus an immutable tag.  In the latter case,
we can entirely avoid running 'git fetch' for it once we have it.
This is a noticeable speedup in our current scenario of pinning WebKit
to a tag.

The git mirroring code now has a --fetch-skip-secs=X option which
allows us to basically run it in a loop, without hitting remote git
repositories too often.

ostbuild: git-mirror: Also fetch patches git

core: Make OstreeRepo struct private

ostbuild: Fix --debug-shell option

core: Make device/inode loose object cache work for parent repos too

Otherwise ostbuild suddenly becomes significantly slower when using a
shadow repo.

ostbuild: Few more misc fixes

ostbuild: Fix typos in component lookup path

ostbuild: Enhance source-diff with --log and --logp options

ostbuild: Add source-diff builtin

OMG OMG OMG

core: Rearrange code for clarity (doesn't actually fix leaks)

ostbuild: Drop dead branch-prefix and pull-components

And other various tweaks.

ostbuild: Various fixes, removal of dead code

ostbuild: Remove /var from components

We expect them to create on demand.

ostbuild: Fix git-mirror

ostbuild: Some work on qemu deployment

ostadmin: Update for new trees/ location of trees

ostbuild: Add import-tree

This is the new workflow:

$ ostbuild import-tree wip-gnome-menus-3.6
$ $EDITOR ~/build/ostbuild/snapshots/wip-gnome-menus-3.6-2012.1-abcd.json
$ ostbuild build

ostbuild: Tighten build process significantly

First, "resolve" now just picks git commits.  We don't expand
config-opts and patches, nor do we generate tree contents.  This makes
the generated files *much* more human editable.

Next, fold "build-components" and "compose" into just "build".  One
never really wants to just build components.  This lets us eliminate
binary snapshots as a concept; instead we always have a combination of
source snapshot and component/ refs.

ostbuild: More work on partial builds

ostbuild: Make partial builds work

If we have component-revisions in our source+binary snapshot, then
we can skip them.

ostbuild: Write out related objects on composes

ostbuild: Minor fixes

ostbuild: Make binary snapshots an extension of source

This significantly simplifies things; we no longer need to retrieve
individual components via 'pull-components', etc.

tests: Tweak valgrind suppression

core: Prefer packed metadata

core: Map metadata from repository as trusted

ot_util_variant_map() assumed untrusted; add a boolean, and use it for
the repository internals.

core: Limit recursion during traversal

The related objects commit introduced OSTREE_MAX_RECURSION; use it.

core: Add write-refs builtin

This will be used by import-tree to pipe refs to write.

core: Allow adding related objects to commits

This will be used to store the set of components.

core: Really fix saving variants with REPLACE_DESTINATION

core: Make argument parsing more robust against "lt-ostree" name

When running uninstalled, we were parsing our argv[0] incorrectly.

core: Replace pack superindex via rename() rather than truncating

This helps allow cloning repositories via "cp -al".

core: Clarify error message

ostree-pull: Avoid an uninitialized variable warning

core: fix a typo

ostree config had two 'set' subcommands, but no 'get'.

core: Don't look in packs if we found loose object

Unless the caller wants us to; which at present none do, but let's be
forward looking and add an option.

ostbuild: Add ostree-revision in buildroots, bin-to-src

First, for binary snapshots we need to include the exact revision of
the architecture buildroot.  To do that, introduce
"architecture-buildroots2".

Second, for bin-to-src, we'd like to allow "partial" builds.  So while
we do expand everything to source, *also* include the binary
ostree-revision.  This will allow building just one component, while
reusing the previously built binaries.

ostbuild: Fix pull-components

We need to pull the actual commits, not the refs.

pull: Use API to stage files with length

Not doing so at the moment triggers a bug in the staging path, and
it's more efficient anyways.

pull: Add --prefer-loose option

This is a hack...

core: unpack: Add --keep-packs option

Matches the pack --keep-all-loose.